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Пошук об’ектв на зображеннях за допомогою графлв 


Данная работа посвящена проблеме поиска объектов на изображении. Для её решения предлагается 
использовать метод на основе применения графа, описывающего изображение. Данный граф должен 
обладать тем свойством, что отдельным объектам на изображении должны соответствовать его 
подграфы. Тогда задача поиска объекта сводится к выделению соответствующего подграфа. Для 
описания изображения предлагается использовать граф, построенный на основе использования 
структурных элементов, выделенных с помощью мультимасштабного представления. Данный граф 
позволяет отражать структуру как текстурированных, так и нетекстурированных объектов. Для выделения 
подграфов, соответствующих искомым объектам, используются средства, основанные на построении 
дополнительного графа-пирамиды. Экспериментальная проверка использования данного графа и 
средств его обработки для поиска текстурированных и слабо текстурированных объектов показала их 
высокую эффективность. Сравнение с аналогами показало значительное превосходство предложенных 
средств при поиске слабо текстурированных объектов. 

Ключевые слова: поиск объектов, распознавание изображений, сравнение графов. 
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Дана робота присвячена проблем! пошуку об’ектв на зображенн:. Для й вирипення пропонуеться використо- 
вувати метод на основ! вживання графа, що описуе зображення. Даний граф повинен володти ею власти- 
в1стю, що окремим об’ектам на зображенн! повинн! вдпов1дати його шдграфи. Тод! задача пошуку об’екта 
зводиться до видлення вдповдного шдграфа. Для опису зображення пропонуеться використовувати граф, 
побудований на основ! використання структурних елемент!в, видлених за допомогою мультимасштабного 
представлення. Даний граф дозволяе в1дображати структуру як текстурованих, так 1 нетекстурованих об’екпв. 
Для вимлення шдграфтв, вдпов1дних шуканим об’ектам, використовуються засоби, заснован! на побудов1 
додаткового графа-шрампли. Експериментальна переврка використання даного графа 1 засобв його обробки 
для пошуку текстурованих 1 слабо текстурованих об’екив показала 1х високу ефективнсть. Пор1вняння з 
аналогами показало значну перевагу запропонованих засо@в при пошуку слабо текстурованих об’екп. 
Ключов! слова: пошук об’скт!в, розшзнавання зображень, пор1вняння графлв. 
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Введение 


В последнее время для поиска / распознавания произвольных объектов на 
изображениях всё чаще применяются методы, использующие локальные инвариантные 
черты (юса! шуапапЕ Геабге$) изображений. Данные черты довольно стабильно выде- 
ляются на изображениях даже при смене освещения, масштаба и ракурса. Это позволяет 
использовать их для описания и поиска / распознавания довольно широкого класса 
объектов на изображениях. Каждой характерной черте ставится в соответствие дескрип- 
тор, который отражает особенности изображения в её окрестности. При проведении 
поиска / распознавания на рассматриваемом изображении выделяются все локальные 
инвариантные черты, затем среди них проводится поиск множества тех, которые со- 
ответствуют искомому объекту. Для этого вначале для каждой черты модели прово- 
дится поиск наиболее вероятных соответствий из черт рассматриваемого изображения 
путём сравнения соответствующих дескрипторов. Чтобы отфильтровать ложные соот- 
ветствия используется также метод ЕГАММ, который учитывает и соседние черты. 

После выделения наиболее вероятных соответствий для отдельных черт модели 
проводится поиск соответствия их множеству среди множества черт рассматриваемого 
изображения. Наиболее распространенными методами для поиска соответствующего 
объекту множества локальных черт в настоящее время являются КАМЗАС [1] и обоб- 
щённое преобразование Хафа. 

Данная схема в настоящее время широко и успешно используется с различными 
вариациями — применяются различные детекторы локальных черт, различные дескрип- 
торы и способы их сравнения [2-4]. Однако следует заметить, что данный метод / схема 
может успешно применяться только для поиска / распознавания объекта по имеющемуся 
шаблону и искомый объект должен быть достаточно текстурирован (т.е. иметь вну- 
треннюю структуру). Это связано с особенностями применяемых дескрипторов и мето- 
дов поиска соответствующих множеств черт. Поскольку при поиске соответствующих 
подмножеств локальных черт используется их взаимное расположение, то логично для 
их описания использовать граф. Вершинам данного графа-описания соответствуют 
структурные элементы (локальные черты), а ребра отражают отношения между ними. 

Отдельным объектам на изображении соответствуют подграфы графа-описания. 
Таким образом, задача поиска определённого объекта сводится к поиску соответствую- 
щего подграфа, который осуществляется путем сравнения графа-эталона с графом- 
описанием изображения. 

Данный подход был использован в работах [5], [6], где в качестве структурных 
элементов использовались границы. Использование в качестве структурных элементов 
границ приносит определённые трудности, связанные с влиянием изменений яркости 
и контрастности на результат их выделения. Гораздо предпочтительней для этого 
локальные инвариантные черты, хотя их недостатки, упомянутые выше, несколько 
ограничивают область их применения. 

В данной работе предлагается усовершенствование данного метода за счёт исполь- 
зования новых графов и средств их сравнения. В качестве графа для сравнения исполь- 
зуется клика, построенная на основе графа-описания, предложенного в [7-9]. Исполь- 
зование данного графа-описания в совокупности со сравнением графов, основанным 
на построении дополнительного графа-пирамиды [10], [11], позволяет проводить 
поиск / распознавание объектов на изображениях без использования сложных дескрип- 
торов. Также предложенное усовершенствование позволяет проводить поиск одинаковых 
объектов на различных изображениях без наличия априорной информации о них. 

Целью данной работы является проверка эффективности применения графа- 
описания и средств его обработки, предложенных в работах [7-11], для решения 
задач распознавания зрительных образов. Для этого необходимо: 


1 скусственный интеллект» 42012 


Поиск объектов на изображениях с помощью графов 


1. Разработать алгоритм на основе их применения для поиска текстурированных 
и нетекстурированных объектов на изображениях; 

2. Провести проверку эффективности работы данного алгоритма, сравнить эффек- 
тивность работы данного алгоритма с аналогами. 


Граф-описание изображения 


Выделение структурных элементов для построения графа-описания описано в 
работах [7-9] и является развитием метода выявления структуры изображений, основан- 
ного на применении мультимасштабных представлений, получаемых на основе свёрток 
с функцией Гаусса и её производными. Данные структурные элементы, называемые 
далее инвариантными, так же как и инвариантные локальные черты, выделяются с по- 
мощью мультимасштабного представления, построенного с помощью оператора Роб. 

Инвариантные структурные элементы (ИСЭ) выделяются на основе использова- 
ния экстремумов по направлению во всех плоскостях мультимасштабного представления 
рассматриваемого изображения. Следует отметить, что множество локальных инва- 
риантных черт является подмножеством множества ИСЭ. Это связано с тем, что 
локальные экстремумы, которым соответствуют локальные инвариантные черты, явля- 
ются подмножеством экстремумов по направлению, используемых для выделения 
инвариантных структурных элементов. И, так же как и локальные черты, ИСЭ харак- 
теризуются координатами центра, характерными масштабом и яркостью. 

Таким образом, в качестве графа, описывающего изображение [, используется 


граф С, (У,,Е,), где У, и Е, -— множества вершин и рёбер соответственно. Каждой 
вершине у, Е\У, взаимно однозначно соответствует структурный элемент, который 
характеризуется координатами центра = (у!) = (х, у) ‚ характерным масштабом 5(у,), 
характерной яркостью С(у’), контрастностью РоС(у,). Параметры, характеризующие 
структурный элемент, составляют атрибут соответствующей вершины. Каждое ребро 
, =е(у’, у,) ЕЁ, характеризует взаимное расположение структурных элементов, отве- 


чающих вершинам. Атрибутом ребра являются расстояние между центрами соответст- 
вующих структурных элементов и отношения их характерных масштабов, яркостей и 
контрастностей: 


1 1 1 
К5(е,) =5()/5(»,), 
1 1 1 
КО(е,) =С(% )1((»,), 
1 1 1 
КРоС(е,) = Ро((у, )/ Ро((»,), 
Г Г 
С(»,)* Ро((», ) 

Г ж Г * 
Роб(»,)*С(», ) 

Для ускорения сравнения изображений целесообразно использовать не все 
инвариантные структурные элементы, а только часть. То есть необходимо выбрать 
репрезентативные вершины, которые будут участвовать в сравнении графов-опи- 
саний и которые образуют репрезентативный граф. Данный граф удобнее всего делать 
кликой, чтобы отсутствие каких-либо вершин не влияло на результат поиска соответ- 
ствующих подграфов. 

Таким образом, алгоритм поиска одинаковых объектов на изображениях имеет вид: 

1. Построение графов-описаний сравниваемых изображений. 

2. Отбор репрезентативных вершин для построения графов-клик, которые будут 
сопоставляться. 


КСРоС(е,) = 
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3. Построение производного графа. 

4. Поиск в производном графе множества максимальных клик 

5. Формирование решения из найденных клик. 

Если в качестве одного из сравниваемых изображений будет изображение объекта, 
то данный алгоритм будет применим для поиска определённого объекта на изображении. 


Репрезентативный граф 


Чаще всего в качестве репрезентативных вершин достаточно выбрать те, кото- 
рым соответствуют ИСЭ, совпадающие с локальными инвариантными чертами. Каждой 


> К 
репрезентативной вершине у; ставится в соответствие множество ИСЭ Б(у^) , которые 


расположены в окрестности соответствующей ЛИЧ и характеризуют структуру 
изображения в данной окрестности. 


БК) = у, У, (у, < 5) ЖК, Су, 
С",у,) — цепь между вершинами у" и У, СО”, у,) = {у.е :УЕР(у”), т(е) = 1 , 
где т(е)=1 означает, что соседние структурные элементы соответствующие 


вершинам, инцидентные ребру е, относятся к одной детали изображения и их центры 
являются соседними пикселями ([8]). 


Алгоритм для формирования множества Б(у^) имеет вид 
Ь(у^) = © // инициализация искомого множества Б(у^) пустым множеством 


Ь(у^)+ =у/ // добавление в искомое множество вершины у^ 
Ле =В1М(Ьу^)); ++) 
{ 

// у = — аявершинаиз множества Б(у" ) 

1 п(у" ;)— множество вершин, смежныхсу" г 

Лог = < (пб ));1++) 


{ 
Ик 


„г-[-аявершинаиз множества п(у",) 

ИСК, ‚)— расстояние между ИСЭ, соответствующими У ГИУ , 
ИИ, «5 жкутеесиьуй ЕМУ и) 

{ 


7.3 К 
Ку, у+=у, р 


Выбранные для дальнейшего сравнения вершины соединяются ребрами каждое 
с каждым. В качестве атрибута данных рёбер выступает расстояние между соответ- 
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ствующими ИСЭ — К(е(у, ‚у,)). Фактически формируется новый граф-клика из репре- 


зентативных вершин, который и используется при дальнейшем сравнении изображений. 

Таким образом, при Данном сравнении изображений используется только инфор- 
мация, предоставляемая графом-описанием, в отличие от других, которые основаны 
на использовании сложных дескрипторов. 


Сравнение репрезентативных графов 


Для поиска соответствующих подграфов у пары графов-описаний проводится 
их сравнение, основанное на поиске их изоморфных пересечений. Для данного сравнения 
предлагается использовать построение дополнительного графа-пирамиды [10], [11], 
поскольку это позволяет достичь линейной зависимости вычислительной сложности 
от количества решений, а также даёт возможность ускорения вычислений за счёт 
учёта специфики конкретной задачи и возможность распараллеливания вычислений. 


Производный граф 


Поиск соответствующих подграфов начинается с построения производного графа. 
Вершинам данного графа С”(У”, Е”), соответствуют пары вершин сравниваемых графов 


С'(У', Е’) и С”(У*, Е”), которые потенциально могут соответствовать друг другу — 
(у;,у) А — у, еУ',у, Е У’, ат(»,) = ай(у,). 


Ребрами в производном графе соединены те вершины, соответствующие вершины 
которых также являются смежными, и параметры, характеризующие рёбра, совпадают 
или достаточно похожи друг на друга. 


(7! ,у?), (1,2) Е” <= е(у! у!) Е Е',е(уу,у,) еЕ”, ай(е(у!,у!)) = ап(е(у:,у,)). 


Набор параметров, составляющих атрибуты вершин и рёбер, и то, как они сопо- 
ставляются, зависит от решаемой задачи. В данном случае сравнение графов исполь- 
зуется для поиска одинаковых объектов, поэтому предполагается, что значительных 
искажений пропорций, отношений яркости и контрастности не происходит. Это по- 
зволяет ограничиться тем набором параметров, который указывался ранее — масш- 
табом, яркостью и контрастностью. 

В рассматриваемом случае сравнения графов-описаний это означает, что 
соответствующие им структурные элементы совпадают или достаточно друг на 
друга похожи. Следует, однако, учитывать, что при изменении освещения значения, 
характеризующие ИСЭ могут меняться, что приводит к росту количества вершин 
производного графа. 

Для оценки похожести структурных элементов, соответствующих вершинам у, 


и у, ‚ используются следующие соотношения: 
75(у;,у;) = 5(;)/5(,), 
7С(у: у, =С(»)/ С(»;) 
троС(у,,у,) = Роб(у,) | РоС(у,) ь 


С(»,) ы РоС(у’) 


"ороб у) =. 
т РоС(у,)*С(у;) 
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2 
Вершина (у,,у,) образовывается только в случае, если удовлетворяется условие 


1/ тг < 75 (у; ,у,) < тг л1/ тгС < 7С(у;,у,) < т’С 


у. 
л1/ тгроС < гРоС(,у,) < тгроС ^л1/ трос < СРоС(у,, у, < трос 


где тт, та, ттро@, ттОроС - пороги, определяющие максимальное 
отношение между соответствующими параметрами атрибутов сравниваемых вершин. 

В данном случае это означает, что взаимное расположение на плоскости и в про- 
странстве признаков соответствующих структурных элементов совпадает. Сравнение 
атрибутов рёбер предназначено для проверки схожести их взаимного пространствен- 
ного и параметрического расположения. 

Для сравнения их взаимного расположения в плоскости изображений исполь- 
зуются следующие соотношения: 


"В(е((у', уу), (уу) = К(е(у 1) / Ее, %)), 
2$, (е (9,7), (я, ))) = 501) / ВС), 
г, (е((%,,:), (1,52) = 5 (1) / ВС), 
г9(е(су, 2), (ур) = (тб (е (у), и, $, (е (1,52), 1, Ур) 12, 
КЗ (е (у, уу), (р) = абз ("Ве (ууу), (ы ув) у "5 (е (51,57), ур), 
атК(е ((ъ',у”), (51, у))) = аБз(еВ (е (1,52), (1, у) "В (е((,у2), (1, . 
При сравнении взаимных яркостей пар ИСЭ используется качественная оценка. 
То есть ДЛЯ каждой рассматриваемой пары ИСЭ учитываются только отношения 
вида «больше», «меньше», «равно». Как показали проведённые исследования, учёт ТОЛЬ- 
ко такого типа отношений позволяет добиться большего качества, чем использование 
количественных отношений. Для этого используется следующая функция: 
—ЬЙ — гс > 7С(е(у,,)) 
ВС(е(,у,)) =50,{ — Мга < "С(е(,,)) < "С, 
ЫР "С(е(х, у!) > Шгб 


С)-б() 
С()+С()” 
которым можно пренебречь, чтобы яркости считались одинаковыми. 

Структурные особенности изображений слабо подвержены влиянию смены осве- 
щения, что позволяет отфильтровывать ложные соответствия при значительных вариа- 
циях яркости, контрастности и фона. Для того, чтобы учесть структурные особенности 
изображений при их сравнении, необходимо сравнить взаимное расположение соседних 
ИСЭ для каждой из сравниваемых пар. 

Для сравнения структур изображений в окрестности ЛИЧ соответствующим вер- 


где 7С(е(» В у )) = 1ИгС. — порог, определяющий разницу в яркостях, 


С ВЕ > .. 
шинам у,;,у 1? у, у,, используется следующии прием, — исходя из условия перехода дан- 


ных ЛИЧ друг в друга, рассчитывается преобразование координат М:у’ =Ми), у? =МкК) 


из одного изображения в другое, используя которое, проводится сравнение расположений 


О «скусственный интеллект» 42012 


Поиск объектов на изображениях с помощью графов 


ИСЭ, соответствующих вершинам из множеств (у; ), Бу, ),Б С, ),Ь(»). Для оценки 
похожести структур используется функция 
С, у?)= У с(,БО”),М), 
у, ЕБ(у) 


Г Зу? в Бл?): |+) - М") < то 


где с(у,,Б(у”),М) = 


0, —ЭЗу- Бу”): [низ -Мг(»,) <тр | 


1.2 1.2 > 2 
Если значения С(у,, у.) и С(х,у,) превышают некий порог тС — С(у;,у,) >тС, 
СС», у2) > тС ‚то структуры считаются похожими. 


Ребро е((;,>?), (м, у) образовывается только в случае соблюдения условия 
АтВЗ(е((у'.у»), (и, %))) < тагВ$ ^агВЕ(е((у!,. у”). (и,%))) < тагВК ^ 
ВС(е(,у)) =ЮС«(е(у,,у,)) ^ С(»;,у;) >тСсл СО, у.) > тс | 


Следует отметить, что в производном графе могут существовать подмножества 
вершин, каждая из которых соответствует одной вершине одного графа и различным 
вершинам второго. Причём вершины второго графа соответствуют структурным эле- 
ментам, сходным по параметрам и расположению. Это приводит к наличию неза- 
висимых множеств в Производном графе, которое приводит к экспоненциальному ко- 
личеству максимальных клик. Чтобы этого избежать, достаточно попарно соединить 
ребрами Такие вершины, что позволяет исключить из производного графа независимые 
множества, обуславливающие экспоненциальное количество максимальных клик. 


(2) 


Построение пирамиды 


Пирамида образуется в результате построения, то есть начиная с основного / 
исходного графа (нулевого уровня) проводится следующая процедура -— граф, соот- 
ветствующий одному уровню, разбивается на подграфы, для каждого из которых в 
следующем уровне создаётся новая вершина. Эти новые вершины являются дочер- 
ними для вершин соответствующих подграфов предыдущего уровня, которые, в 
свою очередь, являются родителями для новозаведенных вершин. 

Вид пирамиды и, соответственно, то, какие подграфы будут соответствовать 
вершинам пирамиды, будет зависеть от правил её построения. Поиск пресечений 
графов заключается в следующем - на одном из графов строится пирамида, а затем 
на производном графе строится вторая пирамида по образу и подобию первой. 
В соответствии с такими правилами построения вершинам второй пирамиды будут 
соответствовать пересечения рассматриваемых графов. 

Однако в случае графов, описывающих изображения, можно ограничиться по- 
строением одной пирамиды. Действительно, если графы С’ и С' являются кликами, 
то их пересечения также являются кликами. Поэтому для их поиска достаточно найти 
все максимальные клики в производном графе. Для этого необходимо построить 
граф-пирамиду для поиска множества максимальных клик. 

Для того чтобы вершинам пирамиды соответствовали клики, необходимо, чтобы 
подграфы разбиения являлись кликами, а новые вершины пирамиды соединялись реб- 
рами только в том случае, если их объединение также является кликой. Если придержи- 
ваться данных правил при построении пирамиды, то каждой еб верхушке будет соответ- 
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ствовать клика. Наиболее подходящей для решения данной задачи является ребёрная 
пирамида, у которой в качестве подграфов разбиения выступают пары смежных 
вершин. То есть каждой вершине данной пирамиды соответствует ребро с инцидент- 
ными ей вершинами. 

Существует, однако, несколько дополнительных правил построения такой пира- 
миды, которые позволяют избегать повторов и пропусков решений. Более подробно о по- 
строении пирамиды для поиска множества максимальных клик можно посмотреть в [11]. 


Сокращение вычислений 


Если графы С’ и С’являются кликами, то для создания производного графа 
может потребоваться значительное время. Это связано с необходимостью создания 


большого числа рёбер — о(м (УМУ? у } 

Также два таких графа будут иметь большое количество пересечений, не соот- 
ветствующих одинаковым объектам. Это обусловлено высоким количеством струк- 
турных элементов, что приводит к большому числу их подмножеств, имеющих 
сходное / похожее взаимное расположение. Следует также учесть, что структурные 
элементы, относящиеся к одному объекту, находятся недалеко друг от друга. Следует 
помнить также, что вычислительная сложность поиска множества клик в графе мето- 
дом строительства пирамиды линейна относительно их числа и пропорциональна 
кубу среднего количества их вершин. 

Вышесказанное позволяет заключить, что для сокращения вычислений необхо- 
димо уменьшить количество вершин в отдельных максимальных кликах. Это необхо- 
димо сделать, выбросив из рассмотрения рёбра сравниваемых графов, соединяющие 
вершины, которые соответствуют далеко расположенным друг от друга структурным 
элементам. 


Контроль взаимного расположения структурных элементов 


Метод построения пирамиды позволяет использовать дополнительные проверки 
для контроля свойств промежуточных результатов. Это реализуется с помощью до- 
полнительных условий при создании новых вершин и рёбер пирамиды. 

При сравнении графов, описывающих изображения, необходимо контролировать 
взаимное расположение структурных элементов в каждой паре потенциально со- 
ответствующих клик-троек. 

Перед построением ребра между вершинами, объединению которых соответст- 
вует клика-тройка, проводится проверка. Направление обхода по соответствующим 
структурным элементам данной пары троек должно совпадать, иначе новое ребро не 
образуется. Это позволяет отфильтровывать зеркально отражённые соответствия. 

Также проверяются соотношения между соответствующими расстояниями между 
центрами ИСЭ. Данные отношения не должны сильно отличаться, что позволяет 
отфильтровывать геометрически искаженные соответствия. 


Формирование решения 


После построения пирамиды её вершинам, не имеющим дочерних, будут соответ- 


Р 
ствовать максимальные клики производного графа (4; } [11]. Данным кликам отвечают 
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пересечения — пары соответствующих подграфов, принадлежащих рассматриваемым 
графам-описаниям С'и С”. Вообще говоря, данные графы не изоморфны, а гомо- 
морфны. Это связано с тем, что в найденных кликах могут быть вершины, соответ- 
ствующие одной вершине одного графа и нескольким различным вершинам другого, 
что обусловлено их попарной смежностью. Не смотря на это, данным подграфам соответ- 
ствуют группы структурных элементов, взаимное расположение которых совпадает с оп- 
ределённой точностью. 

Вследствие того, что при сравнении графов были исключены рёбра, соединяющие 
вершины, которым соответствуют структурные элементы, расположенные далеко 
друг от друга, найденные пересечения не являются максимальными. Для того, чтобы 
найти максимальные пересечения, необходимо объединить найденные клики производ- 
ного графа в подграфы, которым отвечают соответствующие клики графов С' и С”. 

Это можно сделать рядом способов, каждый из которых лучше подходит к раз- 
личным случаям. Если необходимо получить как можно более точно решение -— т.е. 
чтобы взаимное расположение соответствующих друг другу структурных элементов 
полностью совпадало, необходимо провести следующую процедуру. На основе анализа 
уже известных пересечений удалить из производного графа вершины, которые не 
соответствуют искомым решениям. Затем дополнить производный граф рёбрами, 
которые соответствуют далеко удаленным друг от друга парам структурных объектов. 
После этого построить новый граф С’, каждой вершине которого отвечает найденная 


пара соответствующих подграфов, Т.е. одна из максимальных клик производного 


графа: у =у(4; ). Ребрами соединить только те вершины, которым соответствуют 
подграфы производного графа, объединение которых является кликой. После чего 
производится поиск множества максимальных клик в данном графе Су. Согласно 
заданным критериям из найденного множества выделяются те клики, которые соответ- 
ствуют искомым решениям. 

Однако если учитывать, что вследствие различного рода искажений взаимное 
расположение некоторых структурных элементов может меняться, то условие создания 
рёбер в графе С’, необходимо ослабить. Например, потребовать, чтобы количество 
несопряженных пар в объединённом подграфе было не более опредёленного порога. 
А после создания всех рёбер графа С’, действовать так же, как и в первом случае. 


Следует, однако, отметить, что создание новых рёбер и проверка каждой пары 
клик в производном графе требует дополнительного времени. Уменьшить временные 
затраты позволяет использование того свойства соответствующих графов, что взаимное 
расположение их структурных элементов совпадают (или достаточно близко). Это 
означает, что координаты структурных элементов рассматриваемой пары изображений 


связаны друг с другом опредёленным преобразованием М (4/). Для двух пар соот- 


ветствующих множеств структурных элементов, относящихся к одному объекту, 
данное преобразование координат будет с определённой точностью совпадать: 


е(у’,у;)> М (4; )=М(@,). 
В данном случае преобразование М (4;) находилось с помощью метода наи- 


меньших квадратов из условия отсутствия аффинных искажений, т.е. преобразование 
подразумевает только трансляцию, поворот и масштабирование. Сравнение преоб- 


> Р > 
разований М (4) и М(а ‚) сводится, таким образом, к сопоставлению трансляций 
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КМ ), углов поворота (М) и масштабных коэффициентов с(М). Для их сравнения 
использовались следующие величины: 
аа’, а}) = Км а’)-км (а?) 
4 (а’,4}) = в (М (а’))-о(М (ау) 
ь в Мах(с(М (а;)),с(М(а;))) 
о рии УК 
пи(с(М (4, )), с(М (47) 


Р 
Преобразования М(4’)и М (4;) считаются совпадающими, если соблюдается 


) 


) 


условие 
Р Р Р Р Р Р 
АКа; ‚4; ) < та лас (а; ‚4; ) < тас, ^ гс(а; ‚а; ) < тгс. (3) 


Таким образом, каждой найденной максимальной клике производного графа 
вычисляется и ставится в соответствие преобразование координат. Если пара таких 
клик имеет совпадающее преобразование, то вершины графа С’, соединяются ребром. 


Для ускорения построения ребер в графе С, данный процесс проводится в не- 


сколько этапов — вначале рассматриваются клики, имеющие общие вершины; затем 
выделяются связные подграфы В О: затем рассматриваются пропущенные пары, 


принадлежащие одному связному подграфу. Данный приём позволяет значительно 
сократить время, по сравнению с полным перебором всех пар найденных максимальных 
клик (всех пар вершин графа С’). 


Если объект на одном изображении довольно значительно искажен по сравнению 
со вторым изображением, то преобразования координат будут совпадать только у 
максимальных клик производного графа, имеющих общие вершины. В этом случае 
целесообразно остановится на этапе выделения связных подграфов и рассматривать 
соответствующие им подграфы производного графа как возможные кандидаты решения. 
Искомые решения выбираются из найденных кандидатов согласно заданным крите- 
риям, зависящим от конкретной задачи. 


Эксперимент 


Для проверки эффективности использования предложенных графов и средств 
их обработки (далее ГиС) были выбраны задачи поиска объекта на изображении и 
поиска одинаковых объектов на различных изображениях. 

Для проверки работоспособности представленного алгоритма на основе использо- 
вания ГиС вначале поиск объекта проводился на искусственно сформированных изо- 
бражениях. Данные изображения формировались следующим образом -— на произ- 
вольное изображение, которое служит фоном, накладывалось изображение объекта, 
изменённое в размерах и повёрнутое на произвольный / лучайный угол. Место 
расположения изображения объекта на фоне также выбиралось случайным образом. 
Были использованы два типа объектов — текстурированные и слабо текстурированные. 
В качестве вторых были использованы символы, использующиеся в автомобильных 
номерных знаках. На рис. 1 представлены изображения объектов, которые были исполь- 
зованы в экспериментах. На рис. 2 представлены изображения, которые применялись 
в качестве фона. 
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Рисунок 1 — Изображения объектов — а — текстурированные объекты, 
Ь — слаботекстурированные объекты 


5 


Рисунок 2 — Изображения фона 


Граф, представляющий изображение объекта, является кликой, вершинам кото- 
рой соответствуют ЛИЧ. Граф изображения фон + объект состоит из пересе- 
кающихся клик, вершины которых соответствуют ЛИЧ, расположенных друг отно- 


сительно друга на расстоянии не больше, чем (5 (у; )+5 (у, )) .5. Каждой ЛИЧ общих 
графов ставится в соответствие множество ИСЭ, характеризующих структуру в её 
окрестности и отстоящих от её центра на расстояние не более чем 5(у’).2,5. 


При построении вершин производного графа учитываются яркость, контраст- 
ность и отношения яркости и контрастности. 

В условии (1) для образования вершин производного графа были использованы 
параметры тб = 2, тиС =1,5,тт)оС =1,2, ттороС =1,2. В условии (2) для образо- 
вания рёбер производного графа — та’Ю5 = 0,2, та’ВК = 0,2,тС = 0,5. В условии (3) 
для образования рёбер в графе С„— та! =1,3, таа = 0,07, тгс = 0,05. Такой набор 
параметров позволяет сократить размеры производного графа и, соответственно, 
сократить время поиска до 1сек. Было протестировано 1000 изображений, образованных 
текстурированными объектами. Доля верно обнаруженных объектов составила 97%. 
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Этот же набор параметров был использован в задачах поиска объекта на 
изображениях реальной видеопоследовательности и поиска одинаковых объектов на 
различных изображениях. Поиск одинаковых объектов осуществлялся на искусственно 
сформированных изображениях. Для каждой из этих задач также было протести- 
ровано по 1000 изображений. 

Результаты тестов представлены в табл. 1. Из данной таблицы видно, что эф- 
фективность предложенных средств на реальных изображениях не сильно падает по 
сравнению с искусственными и остаётся на достаточно высоком уровне. Это показывает, 
что результаты тестов на искусственных изображениях позволяют оценивать эффектив- 
ность предложенных средств при их использования для реальных изображений. 


Таблица 1- Результаты тестирования на различных задачах 


Задача Доля верного обнаружения объекта 
Поиск объекта на искусственно 
сформированных изображениях 


97% 


Поиск объекта на изображениях реального 


95% 
видеоряда 
Поиск одинаковых объектов на различных 
изображениях без наличия априорной 95% 


информации о них 


На рис. 3 представлены примеры поиска объекта на искусственном (За), реаль- 
ном (ЗЪ) изображениях и поиска одинаковых объектов на различных изображениях (3с). 

Также было проведено сравнение предложенных средств с аналогами, предназ- 
наченными для поиска объектов на изображениях. В качестве аналогов были исполь- 
зованы схемы ЭТ+ЕГАММ+КАМЗАС и ЗОВЕ+ЕГАММ+ВАМЗАС, которые нашли 
широкое применение при решении задач распознавания изображений и поиска объек- 
тов. Данные схемы были реализованы с помощью библиотеки ОрепСУ. 

В этом тесте фактор времени (скорости получения результатов) не учитывался, 
чтобы получить как можно более высокий результат как для аналогов, так и для 
предложенных средств. В условии (1) для образования вершин производного графа 
были использованы параметры тг5 = 0, ти; = 2, ттроб =2, т"тОроб =2. В условии 


(2) для образования рёбер производного графа — та’В$ = 0,2, та’ВЕ = 0,2, тС = 0,5. 
В условии (3) для образования рёбер в графе С, — та = 1,3, та = 0,07, тгс = 0,05. 


Было протестировано 3000 изображений. Результаты тестов применения рас- 
сматриваемых схем для решения различных задач представлены в табл. 2. Из данной 
таблицы видно, что доля верно найденных / обнаруженных текстурированных объектов 
для сравниваемых схем / технологий / механизмов практически не отличается. Для 
предложенных средств доля изображений, на которых объект был обнаружен верно, 
составила 99,5% для текстурированных объектов и 98,4% — для слабо текстурированных. 
Однако для слабо текстурированных объектов контрольные схемы / технологии / 
механизмы показывают долю верных обнаружений менее 50%, что говорит об их 
неприменимости в подобных случаях. 

Также следует отметить, что метод КАМЗАС невозможно применять для поиска 
одинаковых объектов на различных изображениях, поскольку он предназначен для 
поиска объекта по известному шаблону. Это отражено в табл. 2 прочерками в со- 
ответствующих ячейках. 
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Рисунок 3 — Примеры поиска объекта — а - на искусственном изображении, 
Ь — на реальном изображении, с — одинаковых объектов на различных изображениях 


Выводы 


Применение представленных графов (репрезентативный граф и граф-описание) 
и средств их обработки позволяет эффективно проводить поиск текстурированных и 
слабо текстурированных объектов на изображениях, в отличие от других методов и 
алгоритмов, которые специализируются на объектах одного типа. При этом исполь- 
зуются только данные, предоставляемые графом-описанием, без использования дополни- 
тельных дескрипторов. Это показывает высокую перспективность использования пред- 
ложенных средств формирования и обработки описаний изображений с помощью 
графов для решения задач распознавания зрительных образов. 


Таблица 2-— Результаты сравнительных тестов — доля правильно найденных 
объектов в зависимости от типа объекта, задачи и используемых средств 


Поиск объекта на искусственно Поиск одинаковых объектов на 
сформированных изображениях различных изображениях без наличия 
приорной информации о них 


екстурирован- | Нетекстуриро- Текстурирован-Нетексту- 

ые объекты ванные объекты ные объекты рированные объекты 
 ПЕТЕЕГАММ 
| НВАМЗАС 99% 44,1% г | 
БОВЕ-ЕГАММ 
| НВАМЗАС 99% 46,3% - - 
Гиб 99.5% 98.4% 999 9768 


Их применение также даёт возможность увеличивать скорость работы за счет 
распараллеливания вычислений, которое легко осуществимо вследствие особенностей 
структуры используемых алгоритмов. 
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Дальнейшие исследования в области применения представленных графов и средств 
их обработки будут направлены на увеличение скорости вычислений и расширение 
круга решаемых задач. Увеличение скорости работы возможно за счет распарал- 
леливания вычислений, которое легко осуществимо вследствие особенностей структуры 
используемых алгоритмов. 

Учет структуры изображения в окрестности структурных элементов, которые 
соответствуют репрезентативным вершинам, позволит лучше отфильтровывать ложные 
гипотезы при построении производного графа. Это позволит сократить его размеры, 
что уменьшит время получения решения. Исследования в этой области также позволит 
более оптимально для решаемых задач выбирать вершины для репрезентативного гра- 
фа, что позволит добиться стабильно высокой эффективности для всех типов объектов. 
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